Linh Thạch là người huyện Bái, quận Bái [lower-alpha 1], được sanh ra trong một gia đình tướng soái. Cha là Dương Uy tướng quân, Tây Dương, Quảng Bình thái thú Chu Xước, thân tín của Giang Châu thứ sử Hoàn Xung. Các con của Xung đối đãi với Linh Thạch như anh em trong nhà.[1][2]

Linh Thạch từ nhỏ ưa võ nghệ, tính khinh bạc, không kiềm chế hành vi. Cậu là người nhà họ Tưởng ở Hoài Nam, tính cách yếu đuối; Linh Thạch khiến ông ta ngồi ngay ngắn, dựng một tờ giấy có khoét ô vuông chừng 1 tấc vuông trên đầu, đứng cách xa 8, 9 thước, rồi ném dao qua cái ô ấy, trăm phát trăm trúng. Cậu run lẩy bẩy, nhưng sợ Linh Thạch, rốt cục không dám cử động. Ót của cậu có cái nhọt, Linh Thạch chờ cậu ngủ, lẻn đến cắt đi, cậu chết ngay.[1][2]